Khi hoàn tất, Usugumo được phân về Hải đội Khu trục 12 thuộc Hạm đội 2 Hải quân Đế quốc Nhật Bản. Trong cuộc Chiến tranh Trung-Nhật, Usugumo được phân công tuần tra dọc theo bờ biển miền Nam Trung Quốc. Vào ngày 15 tháng 8 năm 1940, nó bị hư hại nặng bởi một quả thủy lôi, và được cho kéo về xưởng hải quân Maizuru để sửa chữa.

Vào lúc xảy ra cuộc tấn công Trân Châu Cảng, Usugumo vẫn còn đang được sửa chữa, nên đã không sẵn sàng chiến đấu cho đến cuối tháng 7 năm 1942, khi nó được điều về Hạm đội 5 Hải quân Đế quốc Nhật Bản, và được gửi đến Quân khu Bảo vệ Ōminato. Từ tháng 8 đến giữa tháng 10, Usugumo được phân công tuần tra dọc theo bờ biển Hokkaidō và quần đảo Kurile và hộ tống các đoàn tàu vận tải đi lại giữa Paramushiro và Attu cùng Kiska thuộc quần đảo Aleut cho đến cuối tháng 1 năm 1943. Vào tháng 2 năm 1943, nó quay trở về xưởng hải quân Kure để sửa chữa.[6]

Trong trận chiến quần đảo Komandorski ngày 26 tháng 3 năm 1943, Usugumo làm nhiệm vụ hộ tống chiếc tàu vận tải Sanko Maru, và do đó đã không trực tiếp tham gia chiến sự.[7] Usugumo tiếp nối các chuyến đi vận chuyển giữa Paramushiro và Attu trong tháng 4, và từ tháng 7 đến tháng 8 đã trợ giúp vào việc triệt thoái lực lượng Nhật Bản còn sống sót khỏi Kiska.[8] Đến cuối tháng 11, Usugumo quay trở về Kure để tái trang bị.

Sau khi trải qua tháng 1 năm 1944 tiến hành huấn luyện trong vùng biển Nội địa Nhật Bản, Usugumo quay trở lại Ōminato vào đầu tháng 2 tiếp tục các nhiệm vụ tuần tra và hộ tống ở vùng biển Bắc. Vào cuối tháng 3, nó hộ tống một đoàn tàu vận tải đi đến đảo Uruppu

Vào ngày 5 tháng 7 năm 1944,[9] sau khi rời Otaru, Hokkaidō cùng một đoàn tàu vận tải khác hướng đến Uruppu, Usugumo trúng phải ngư lôi phóng từ tàu ngầm Mỹ USS Skate trong biển Okhotsk, ở cách 610 km (330 hải lý) về phía Tây Nam Paramushiro, ở tọa độ 47°43′B 147°55′Đ / 47,717°B 147,917°Đ / 47.717; 147.917Tọa độ: 47°43′B 147°55′Đ / 47,717°B 147,917°Đ / 47.717; 147.917. Hai quả ngư lôi đã đánh trúng giữa tàu; khiến nó chìm trong vòng sáu phút, và không có thành viên thủy thủ đoàn nào sống sót.[10]

Vào ngày 10 tháng 9 năm 1944, Usugumo được rút khỏi danh sách Đăng bạ Hải quân.[5]